生成式艺术和算法创作01-概述

自从今年把兴趣领域从人机交互扩展到人机协同创作之后，接触到越来越多「艺术 x 技术」的新鲜知识、有趣项目和精彩作品。一个星期有那么 7 天心情如下图：

这个系列，00 将会整理和介绍 Generative Art 和 Computational Creativity 的一些研究领域、概念和作品。当然，我们不满足于做手残党。为了避免出现只是看看图惊叹两句就没有然后的纯消费行为，这个系列也会探讨相关的技术、算法，以及实现的思路。

需求井喷下的工具进化

为什么关注生成式艺术和算法创作？

除了个人的职业背景和癖好，还有对声色犬🐩马🐴的生活，哦不，做一个声🎵色🎬全码的手艺人的向往。

创意和娱乐产业发展到今天，已经是一个巨大的造梦引擎。但消费市场对极致体验和制造梦境能力的追求并不会停歇，这迫使技术和计算能力以前所未有的速度变化和发展。不但场景越来越宏大、梦幻、沉浸，对实时性、多角色协同、虚实融合的诉求也愈发强烈。这其中有大量的创作工作要做。

比如，在 Minecraft 中，每周有超过 1000 万玩家，会在游戏里待上 20 小时。这样算下来，需要多少作曲家才能为每一位玩家提供个性化的音乐呢？

Non-linear （非线性叙事）媒体日渐流行，自动生成丰富而个性化的内容流成为强需求，或者至少需要有方法能够帮助创意工作者更有效地完成创意任务。但是传统的工具例如视频剪辑、音频效果制作、图像合成等等，工具本身并不能提供更多的帮助。不论创意有多明确，一切都需要从头开始。

为什么机器不能以更动态、灵活、人性的方式与我们交互呢？比如说，我已经设计过 100 张海报，这次的设计跟其中的 3 张风格相似，但是内容会有变化。创作工具能不能自动生成几个草稿或模板，让我不必重零开始呢？

打造这样的工具或者工作流程，需要研究人类的创造过程，让机器在一定程度上自主完成创造过程，才能更好地辅助我们创造。

应用了计算机算法的生成式艺术处于艺术和创造的前沿，已经涌现出许多艺术和文化作品。

生成式艺术

生成式艺术（Generative art）是指部分或全部使用自动创作系统（autonomous system）创造的艺术。

Generative art refers to any art practice where the artist uses a system, such as a set of natural language rules, a computer program, a machine, or other procedural invention, which is set into motion with some degree of autonomy contributing to or resulting in a completed work of art.

—— Philip Galanter

可以用来辅助生成艺术作品的系统有很多，通常是一个非人类的独立系统（不一定是计算机），只要它可以独立确定一件艺术品的特征。

生成式艺术几乎跟艺术本身一样古老，使用几何对称、样式、重复来生成图案的做法，已经存在几千年了。

艺术家需要设计一个自主运作的机制来创作作品，这个机制通常包含一组规则，例如自然/音乐/编程语言、二进制代码、数据映射、生物指令等，由它们生成自动化处理过程，最终产生艺术作品。

生成式艺术可以为艺术家提供减少主观创造意向的手段。在不同的条件、参数、设置下，运行过程不同，结果会呈现出一定特征，但常常是不可预测的。

随着互动需求的增加、计算机计算能力提高，越来越多的生成式艺术作品是实时生成的，而且系统会收集反馈或产生即时的新输入，让结果持续更新和变化。

需要注意的是，生成式艺术并不是艺术流派、艺术运动或某种意识形态，它只是一种创造性的方法，与作品的意图和价值取向无关。

算法创作

Computational Creativity（我翻译为算法创作），是一个学术研究领域，研究的对象主要是创意活动的计算化/自动化过程。它并不局限于艺术，还包含各种创造性活动，如绘画、音乐、文学、表演等等。

算法创作听起来跟人工智能似乎很像，都强调算法、计算、自动的处理过程。它们是一样的吗？

让我们先来看看 Sternberg 在 Handbook of Creativity 里提出的创造性最重要的 3 类智能：

• 分析智能 Analytical Intelligence：分析、评论、判断、比较、评估

• 实用智能 Practical Intelligence：使用、实施

• 创作智能 Synthetic/creative Intelligence：想象、创造、发明、发现、预测

再来回顾一下人工智能先驱司马贺给出的人工智能的定义：

Artificial intelligence is the science of having machines solve problems that do require intelligence when solved by human.

—— Herbert Simon (1960)

此处的重点是：solve problems。

AI 擅长 rational problem solving，也就是说，擅长处理那些解决方案可能很复杂，但是容易理解、目标明确或定义良好（well defined）的问题。

但是，机器可以擅长创作吗？

跟理性问题相比，创造性活动一般没有「最佳」结果或答案。不存在最好的音乐、绘画、诗歌、故事、笑话、菜谱、游戏……这一类活动更加需要 Sternberg 所说的第三类 synthetic 智能。于是算法创作渐渐从 AI 研究领域中分离出来，因为「最优」（optimality）的概念对创作行为来说是定义不良的（ill-defined）。

Creative System 的分类

从通用性来分，创意系统可分为特定的 (基于领域/任务/审美的) 和通用的。

从自动化程度来分，可分为响应式的和全自动的。

从互动性来分，可分为低互动性的（只响应输入，比如一般的人机交互界面）和高互动性的（可以相互影响的代理行为）。

从系统的知识来源分，可分为硬编码的、输入的和学习式的（比如从语料学习）。

从系统的行为模式来分，可分为：fixed - periodic - complex - chaotic。

从有效复杂性（effective complexity）来分，可以分为：

从架构和算法来分，可以分为：

• generative

• generate and evaluate

• generative with reflexive feedback

• interactive and adaptive

算法创作的领域实践

生成绘画

哈罗德·科恩（Harold Cohen）的 AARON 系统是一个从 1973 年开始的长期项目，他将软件人工智能与机器人绘画设备相结合，让机器自动作画，可以算得上是 AI 画家的鼻祖了。

自动作画的机器人被明名为 AARON。AARON 是一台很原始的绘画机器，但它可以在没有照片或其他人类输入参考的情况下绘制人物形象的静物和肖像。

在专注水彩作画的 40 多年里，AARON 的绘画能力逐年提高。80 年代学会了将物体或人物放置在三维空间中，从 1990 年起可以用彩色绘画。它的部分作品已被泰特等知名美术馆和一些私人收藏家收藏。

Final Approach 是 2013 年 AARON 最新的绘画作品之一：

时间快进到 2018 年，已经连续举办 3 年的 Robot Art Prize 已落下帷幕（ARRON 也参加了比赛🙂），第一名由名叫 cloudpainter 的机器人画家获得，下面是它的画作：

我认为，在短期内，机器人将越来越多地用于数字艺术的最终生产，特别是那些有很多细节或重复元素的机器人。

创立 RobotArt 的艺术家和工程师 Andrew Conru 表示。

但他不认为机器人或算法艺术家会取代更有创造性的人类。他把机器创造的艺术品比作照相机的创造。摄影成为一种全新的艺术分支，捕捉不同类型的图像和作品。

Conru 认为机器人和人类艺术品将继续存在。每个人都会为艺术领域带来不同的技能和方法。正如他的网站所说：

We all win when we see something beautiful.

生成音乐

人们希望借助自然的力量更自动地创作音乐，这种想法实际上早已出现。从某种程度上说，第一首自动生成音乐可能来自于大自然：中国的风铃、古希腊的风弦琴、日本的水琴窟等。

莫扎特的 Musikalisches Würfelspiel（Musical Dice Game，1757）被认为是早期的基于随机性的生成系统。

在这部作品中，他创作了 176 小节音乐，然后将小节号排列为两个特殊的矩阵图，通过演奏家掷般子的方式来决定音乐序列的选择。这个机制提供了有序和无序的平衡。可以说，将算法应用于音乐创作可能和音乐本身一样古老。

Iannis Xenakis 在他 1958 年的专辑 Analogique 中，使用了马尔可夫链来作曲。他在著作 Formalized Music: Thought and Mathematics in Composition 里详细描述了使用马尔可夫模型的算法。

第三章“马尔可夫的随机音乐：应用”（节选）

John Cage，Farmers Manual 和 Brian Eno 等现代（电子）音乐先驱都在早期作品中开始使用生成系统。

Continuator 是 Francois Pache 在索尼计算机科学实验室 (Sony Computer Science Laoratories) 时主导的项目。

The Continuator is a usable musical instrument combining techniques from interactive and automatic learning systems.

他最近几年则投入到Flow Machines项目中。

2016 年，格莱美获奖制作人 Alex Da Kid 与 IBM Watson 搭档合作一起创作歌曲。Watson 将大量的非结构化数据转化为情感洞察，创造出有史以来一种全新的音乐——可以“聆听”受众的音乐。

Watson分析了近五年的文化和音乐数据，探索全新的情感洞察。

为了解最普遍最主流的话题及主题，自然语言分析 API Watson Alchemy Language 分析了过去 5 年的各类文本，包括诺贝尔和平奖演讲内容，纽约时报头版，美国最高法院的裁定，洛杉矶 Getty 博物馆的报告，维基百科文章，热门电影梗概等等。

掌握这些文化主题后，情绪分析 API Watson Tone Analyzer 分析相关的社交媒体内容了解受众对主题的想法和感受。它还分析了过去 5 年 Billboard Hot 100 歌曲中超过 26000 首歌的歌词。Watson Beat 检测出来热门歌曲的作曲过程中，从逐年来不同的节奏、音高、乐器、流派中找出关系模型，帮助 Alex 发现不同声音所反映出的不同情感。

同时, 颜色分析 API Cognitive Color Design Tool 对专辑封面、图像、色彩的分析也启发了 Alex 专辑封面的制作。

Alex Da Kid 携手IBM Watson创作故事揭秘

新的创作时代已经到来。

新技术激发了前所未有的创造力，新的创作方式将赋予创作者们更大的能量。

00 的生成式艺术和算法创作系列，将带你一起探索（看起来很 Geek 很头疼的）知识和项目，其中很多都是艺术创作领域中前沿和硬核的话题，例如：

混沌和分型理论（Chaotic & Fractal）、形状语法（Shape grammar）、规则系统（Rule-based system）、马尔可夫模型（Markov Model）、智能代理（Intelligent Agents）、多代理系统（Multi-agent system）、元胞自动机（Cellular Automaton）等。

（☁️）

道阻且长，行则将至。

感谢你的陪伴。

👀

看完不想说点啥吗？

请移步留言区~

（或者转发一下也是极好的）

Ref

- Sternberg, R. J., & O'HARA, L. A. (1999). 13 Creativity and Intelligence. *Handbook of creativity*, 251.

- Philip Galanter. What is Generative Art? Complexity theory as a context for art theory, 2003 International Conference on Generative Art

- [Triarchic theory of intelligence - Wikiwand](https://www.wikiwand.com/en/Triarchic_theory_of_intelligence)

- [Harold Cohen Home Page](http://www.aaronshome.com/aaron/index.html)

- [cloudpainter - an artificially intelligent painting robot](http://www.cloudpainter.com/)

- [Qbits for Cubists: Robots Made These Incredible Works of Fine Art | Freedom and Safety](http://freedomandsafety.com/ru/node/1380)

- [Musikalisches Würfelspiel - Wikiwand](https://www.wikiwand.com/en/Musikalisches_W%C3%BCrfelspiel)

- [François Pachet - Director of Spotify Creator Technology Research Lab](https://www.francoispachet.fr/)

- [Flow Machines: AI music-making](http://www.flow-machines.com/)

- [Neural Nets for Generating Music – Artists and Machine Intelligence – Medium](https://medium.com/artists-and-machine-intelligence/neural-nets-for-generating-music-f46dffac21c0)

- [IBM Watson Music - 中国](http://www-31.ibm.com/ibm/cn/cognitive/outthink/watson/music/)

- [机器人都能画出《蒙娜丽莎的微笑》了，那还要画家干什么？](https://xw.qq.com/cmsid/20180409A1295K00)

- [人工智能是怎么创作音乐的？](https://mp.weixin.qq.com/s?src=11&timestamp=1538363661&ver=1155&signature=YiP2N6ONasXfYcTqidl7jz2x1KrfHO30I3hUGwHi9O2uqAL9tp8Z0xfeS7fVVljj7QMjazIetslJJ8r8whpe*brPZcbR3c1vRHin6Ovul4nxwE-ujd8z0qRXCeH1JIYg&new=1)

HackYourself 创造者系列

👓 👓 👓